/**
 * 此示例使用该方法 在爬网程序从一个页面导航到另一个页面时enqueueLinks()添加新链接。RequestQueue
 * 如果没有给出选项，默认情况下该方法将仅添加同一子域下的链接。可以使用选项控制此行为strategy 。您可以在示例中找到有关此选项的更多信息Crawl relative links。
 */
import { PlaywrightCrawler } from 'crawlee';

const crawler = new PlaywrightCrawler({
    async requestHandler({ request, enqueueLinks, log }) {
        log.info(request.url);
        // 将页面中的所有链接添加到RequestQueue
        await enqueueLinks();
    },
    maxRequestsPerCrawl: 10, // 仅限 10 个请求（如果要抓取所有链接请勿使用）
});

// 使用初始请求运行爬虫
await crawler.run(['https://crawlee.dev']);
